Sau khi ly hôn với người vợ đầu tiên, vào năm 1974 ông đã tiến thêm bước nữa với một nữ giáo viên.[55][57] Vào năm 1985, ông nghỉ hưu ở tuổi 56.[59] Trước đó, lúc dời ra khỏi nhà vợ cũ những năm diễn ra vụ Vào đời, ông trú ở tầng 4 nhà 96 phố Huế,[60] rất gần trụ sở Nhà xuất bản Văn học (cũ), nhưng sau khó khăn nên ông đã chuyển về ở một căn phòng nhỏ, chật chội và ẩm thấp ở số 79 Hàng Buồm để dư ra ít tiền ăn. Suốt nhiều năm, nhà văn phải sống nhờ vào những quán cơm bụi bên lề đường.[61]

Trong những năm cuối đời, vì chịu ảnh hưởng nặng nề từ chuyện gia đình lẫn công việc, Hà Minh Tuân đã bị mắc chứng bệnh nhũn não khiến ông mất trí nhớ và không thể tự ý thức bản thân.[62][63] Các đồng nghiệp của ông cho biết ông thường đến cơ quan sau khi nghỉ hưu với khuôn mặt thất sắc, có lần đến còn cầm cái bô theo;[64][61] ông cũng hay đi lang thang trên đường trong dáng vẻ ngơ ngác, thậm chí nhiều lần bỏ nhà ra đi và có đêm rét mướt không tìm được nhà nên phải ngủ bên góc tường ở Ô Quan Chưởng.[65] Ông qua đời vào ngày 11 tháng 3 năm 1992 tại Hà Nội, hưởng thọ 63 tuổi.[65][6] Đám tang của Hà Minh Tuân đã được tổ chức trọng thể tại trụ sở Liên hiệp các Hội Văn học nghệ thuật Việt Nam tại số 51 đường Trần Hưng Đạo.[20] Rất nhiều người đã tham dự đám tang này, từ gia đình, bạn bè đến đồng nghiệp và những tướng lĩnh cấp cao cùng những người từng đọc truyện của ông.[63]

Sau khi Hà Minh Tuân qua đời, đã xuất hiện nhiều lời bàn tán xoay quanh những ngày trước khi chết của ông. Có người cho rằng nhà văn đã bị bạc đãi và bỏ rơi trong những ngày cuối đời, dù điều này sau đó bị một đồng nghiệp của Hà Minh Tuân tại Nhà xuất bản Văn học phủ nhận.[66] Theo lời thuật lại của Hà Minh Đức (2007), một lần nọ Hà Minh Tuân đã bị một tên ăn cướp đánh gãy răng, sau khi người nhà biết chuyện đưa về chăm sóc thì không lâu sau đó ông đã mắc bệnh nặng.[65] Nhưng theo lời của Đặng Vương Hưng (2003), trong một lần lang thang trên góc phố Hàng Giấy vào một đêm năm 1992, ông đã bị người dân tụ lại cầm gậy gộc đánh trọng giận dữ vì nhầm tưởng là một tên trộm. Sau khi phát hiện đánh nhầm người, họ đã gọi xe cấp cứu đưa ông đi bệnh viện. Một thời gian sau đó, ông trút hơi thở cuối cùng tại Bệnh viện Việt Xô.[63]